快手摘要注意力 V2 技术报告：C-KSA 与 S-KSA
🧭 长上下文高效注意力 · 二级KV压缩与稀疏索引 ★ 深度解读
Kuaishou
在 Hybrid KSA 上新增 C-KSA 与 S-KSA，把 Summary 同时用作可二级压缩 KV 记忆和稀疏索引，128K 下 KV cache 减少 40.4%、prefill 达 1.51×
📌 工作参考价值（4 点）
- 如果业务中已有或计划引入 Summary/landmark token 机制，可参考 C-KSA 的二级压缩：把每 km 个 Summary KV 池化为 layer-local Meta entry，Summary 序列继续按原粒度前向传播，远程缓存按 ks*km 倍压缩。这样可以从已有 Hybrid 模型低成本 retrofit，不用重新设计 chunk size。
- S-KSA 的 block-level routing 比 token-level 索引候选数少 b 倍，适合在电商搜索/广告 Agent 的长候选列表、长商品序列中做稀疏读取；其默认参数 b=4、remote budget K=4096、local window 1024 可作为起步配置，block size 放大到 8 会明显掉点，需谨慎。
- 如果只允许训练新模块，可冻结 backbone 做 module-only 适配：C-KSA 先对齐 attention 输出再全参微调，S-KSA 用 dense teacher 蒸馏 block 选择，18.5B tokens 即可接近 parent；block teacher 用 max pooling 不要用 sum pooling，后者会稀释 salient token 信号。
- 注意失败模式：频繁词提取等全局聚合任务在 128K 下从 45% 跌到 26.67%。若业务需要跨长上下文做类目频次、属性统计等聚合型召回/排序信号，应保留 dense 分支或额外聚合结构，不要完全依赖 sparse attention。
排练一切，记住无物：Attic-KV 只排练将被读取的内容
🧭 LLM 长上下文 KV 缓存压缩 ★ 深度解读
Nanyang Technological University
提出训练无关的 Attic-KV 排练策略，以自生成 QA 与内容自适应锚点取代全文重读，大幅提升极限压缩下的长上下文问答与缓存复用
📌 工作参考价值（4 点）
- 电商商品详情、文档库做预计算 KV 缓存时，可用 LLM 对每个商品/文档生成“读者可能问的问题+原文引用答案”作为 rehearsal，再做 3-5% 预算的 KV 淘汰；比全文重读更能保住属性、价格、政策等答案片段，且 5% keep ratio 可把缓存容量放大 20 倍。
- 选择 rehearsal 长度不要固定比例，按内容稠密自适应：锚点数量=目标 keep ratio，再扩展到包含锚点的句子长度；商品参数表、FAQ、规格列表会被排练更多，营销 prose 少排练，避免预算浪费。
- 可直接替换现有 KVzip/KVgrad/RestoreKV 的 rehearsal，不改变 scoring、不重训；适合已有推理加速链路的团队，先用 KV2+Attic 低成本验证，再决定是否引入 restore tokens。
- 自生成 QA 放在离线/一次性路径，每个商品或文档只生成 6 个 Q&A（≤256 tokens），压缩耗时反而低于全文重读；适合大规模语料缓存、RAG 文档库与 Agent 长对话记忆。
KV²：一种自精炼 KV 缓存压缩方法
🧭 LLM 推理 · KV cache 压缩 ★ 深度解读
Karlsruhe Institute of Technology
用轻量代理选少量锚点做选择性重建，在 2% KV 预算下大幅优于 KVzip 等基线
📌 工作参考价值（4 点）
- 对 Agent 长期记忆、用户历史、商品知识库等“一次缓存、多次 query”场景，优先用 query-agnostic 压缩；KV² 两阶段思路可复制：先用便宜业务信号（如 key 相似度、商品/行为 embedding）挑锚点，再做局部 max-attention 打分，比全量重建省钱。
- 可将 KV 预算压到 2%–5%，适合电商搜索/推荐的超长上下文（长用户序列、多商品文档），降低缓存显存和 decode 带宽；chunk size 4K 是性价比甜点。
- 默认单轮即可，别急着上多轮 self-refinement；只有在 proxy 很弱或 reconstruction 比例极小时才考虑 2–3 轮。
- 落地注意：论文基于 kvpress 的 masking 实现未物理 compact，需配合 headwise 变长 attention、paged cache 和重复 query 服务后端，才能把压缩阶段收益转成实际 decode 收益。
SANTA++：通过代表性键采样注意力以减少 KV 读取
🧭 LLM 长上下文推理 · 稀疏注意力采样 ★ 深度解读
University of California, Santa Barbara · Flucta
训练自由随机注意力方法，用代表性键路由团队采样，以 16%-22% KV 读取保留 94%-99% 精度
📌 工作参考价值（4 点）
- 在需要长上下文 LLM 推理（如用户长期行为序列、商品详情、多轮对话历史）的服务中，采用“代表性键 + 团队采样”做 decode 期稀疏 attention，可在 KV 读取降到 16%-25% 时仍保留接近 dense 的精度，适合降低在线推理成本。
- prefill 后一次性用 k-means 或 contiguous 分块构建 parent groups，再在每个 parent 内选 actual-key representatives（首点最近均值，后续逐次最远点），decode 阶段固定复用；避免逐 token 全量扫描，尤其在 batch-one 长序列下成本低。
- GQA 架构下，多个 query head 共享 KV head 的团队划分与代表键读取，但各 head 独立采样并保留自己的 inclusion correction，可进一步提升吞吐；与 MLA 等压缩 KV 表示互补，已在 DeepSeek-V2-Lite 上验证仍有 token 稀疏性。
- 实际部署注意：contiguous 分块可省去 k-means 预处理，虽然某些任务略降精度但访问更低；预算 S 是团队数而非 token 数，需要按团队大小和头间重叠重新估算实际 KV 读取。
位置偏见修正不足以替代迭代注意力排序
🧭 RAG 上下文重排中的位置偏失去偏 ★ 深度解读
Analemma
去偏单次注意力排序在高偏置模型上可小幅提升，但仍远不及迭代排序，仅弥补 37% 的精度差距
📌 工作参考价值（4 点）
- 轻量级文档重排 trick：在长上下文 RAG（如多文档问答）中，仅用一次 decode 的注意力权重即可对文档排序，计算代价极小，可作为生成前的轻量重排模块，且效果接近单次注意力排序基线。
- 提示级位置偏曲线估计：利用同一 prompt 中低注意力文档（剔除 top-α）分箱聚合（中位数或均值）来估计位置偏置曲线，再用减法或除法校正原始注意力分数。这一思路可直接迁移到需要对抗位置偏见的生成式推荐或搜索摘要场景，无需额外训练或外部数据。
- 迭代 vs 单次的取舍：结果表明，对于位置偏置不严重的模型（如 LLaMA‑2‑32K‑Instruct），单次注意力排序已足够，迭代排序带来的增益极小（0.6pp 以内），可节省多轮生成的计算开销；对偏置严重的模型（如 YaRN），仍需要迭代排序才能获得较大收益，但可先尝试去偏一次排序，若效果不足再增加迭代。
- 注意力排序的部署成本控制：若业务对延迟敏感（如实时推荐搜索）且使用偏置较弱的模型，可直接用单次排序（1 sort+1 gen），仅需一次前向和一次生成，大幅降低延迟，避免 5 次 sort‑and‑generate 的代价。